from Manager import UrlManager
from Analysis import UrlAnalysis
import warnings
import time
import sys 
if __name__ == '__main__':
    warnings.filterwarnings("ignore")#忽视警告
    Analysis=UrlAnalysis()
    Manager=UrlManager()
    target='https://tieba.baidu.com/'
    
    while True:
        Formats=input("请输入保存方式（文本、网页）：")
        if Formats=='文本'or Formats=='网页':
            break
        else:
            print('输入错误，继续！！')        
    i=1
    while i<=5:
        if i==1 and Analysis._get_new_urls(target,i)==0:
            print('%s,解析失败'%target)
            sys.exit(0)
        else:
            while Analysis._get_new_urls(target,i)==0:#根据根网址得到下一层
                target=str(Manager.get_new_url()[0])
        Manager.add_new_urls(Analysis.page_url)#将得到的网址列表放进新网址列表
        if Formats=='网页':
            Analysis._download_html(target)#下载html格式
        else:
            Analysis._download_chinese_characters(target)#下载txt格式里面除去标签
        target=str(Manager.get_new_url()[0])#从新网址列表拿出并将其放入旧列表
        i=i+1

 
    temp=Manager.get_new_url()
    target=str(temp[0])
    while True:
        if temp[1]<5:
            while Analysis._get_new_urls(target,temp[1]+1)==0:#根据根网址得到下一层
                temp=Manager.get_new_url()
                target=str(temp[0])
                if  temp[1]>=5:
                    break
            if temp[1]<5:
                Manager.add_new_urls(Analysis.page_url)#将得到的网址列表放进新网址列表
        if Formats=='网页':
            Analysis._download_html(target)#下载html格式
        else:
            Analysis._download_chinese_characters(target)#下载txt格式里面除去标签
        if Manager.has_new_url():
            temp=Manager.get_new_url()
            target=str(temp[0])
        else:
            break
        
    input("Prease <enter>")
    
